FSx for NetApp ONTAP の管理エンドポイントはどこに作られるのか？

コーヒーが好きな emi です。

FSx for NetApp ONTAP の管理エンドポイントは指定した IP アドレス範囲に自動作成されるのですが、いろいろとパターンがありましたので検証して図解しました。
構築の際は VPC CIDR の設計に気を付けてください。

まとめ

シングル AZ の場合

• 管理エンドポイントは FSx for NetApp ONTAP ファイスシステムと同じサブネット内に自動で作成される

マルチ AZ の場合

プライマリ CIDR のみの場合

パターン	VPC から未割り当ての IP アドレス範囲	VPC 外のフローティング IP アドレス範囲	IP アドレス範囲を入力
VPC 内にサブネットに割り当てられていない空き IP アドレス範囲が存在し、かつ VPC のプライマリ CIDR 範囲の最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が空いている場合	VPC のプライマリ CIDR 範囲から最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が自動指定される	198.19.x.0/24 が自動指定される	VPC の空き IP アドレス範囲、VPC 外の IP アドレス範囲のいずれかから指定できる　※制限あり
VPC 内にサブネットに割り当てられていない空き IP アドレス範囲が存在し、かつ VPC のプライマリ CIDR 範囲の最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が空いていない場合	×（選択できない）	198.19.x.0/24 が自動指定される	VPC の空き IP アドレス範囲、VPC 外の IP アドレス範囲のいずれかから指定できる　※制限あり
VPC 内の IP アドレスがすべてサブネットに割り当てられており、空き IP アドレスが存在しない場合	×（選択できない）	198.19.x.0/24 が自動指定される	VPC 外の IP アドレス範囲から指定できる　※制限あり

セカンダリ CIDR がある場合

パターン	VPC から未割り当ての IP アドレス範囲	VPC 外のフローティング IP アドレス範囲	IP アドレス範囲を入力
セカンダリ CIDR にサブネットに割り当てられていない空き IP アドレス範囲が存在する場合	×（選択できない）	198.19.x.0/24 が自動指定される	セカンダリ CIDR の空き IP アドレス範囲、VPC 外の IP アドレス範囲のいずれかから指定できる　※制限あり
VPC 内の IP アドレスがすべてサブネットに割り当てられており、空き IP アドレスが存在しない場合	×（選択できない）	198.19.x.0/24 が自動指定される	VPC 外の IP アドレス範囲から指定できる　※制限あり

※制限：次の CIDR 範囲は FSx for NetApp ONTAP と互換性がないため指定できません。

• 0.0.0.0/8
• 127.0.0.0/8
• 198.19.0.0/20
• 224.0.0.0/4
• 240.0.0.0/4
• 255.255.255.255/32

参考：FSx for ONTAP ファイルシステムの作成

背景

FSx for NetApp ONTAP の管理エンドポイントは以下の二種類があります。

• ファイルシステムの管理エンドポイント
• SVM の管理エンドポイント

本記事ではこの二種類をまとめて「管理エンドポイント」と表記します。
管理エンドポイントは、ファイルシステム作成の際に設定する「エンドポイント IP アドレス範囲」から自動で割り当てられます。

FSx for NetApp ONTAP には他にも「ファイルシステムのクラスター間エンドポイント」、「SVM の iSCSI エンドポイント」が登場します。ファイルシステム作成の際に設定する「エンドポイント IP アドレス範囲」は、管理エンドポイントを作成する IP アドレス範囲を指します。
曖昧さを回避するため、本記事ではファイルシステム作成の際に設定する「エンドポイント IP アドレス範囲」のことを、「管理エンドポイント IP アドレス範囲」と表記します。

ファイルシステムのクラスター間エンドポイント、SVM の iSCSI エンドポイントはサブネットの中に作成されますが、管理エンドポイントが作成される場所には様々なパターンが存在します。

「管理エンドポイント IP アドレス範囲」で選択できる 3 種類のオプション

管理エンドポイント IP アドレス範囲は、以下 3 種類のオプションから選択できます。

• VPC から未割り当ての IP アドレス範囲
• VPC 外のフローティング IP アドレス範囲
• IP アドレス範囲を入力

一つずつ見ていきます。

VPC から未割り当ての IP アドレス範囲

VPC のプライマリ CIDR 範囲から最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が自動指定されるオプションです。例えば VPC の CIDR が「10.0.0.0/16」の場合、管理用エンドポイント IP アドレス範囲は「10.0.255.255/26」となります。
VPC のプライマリ CIDR 範囲から最後の 64 個の IP アドレスが既にサブネットに割り当てられている場合、このオプションを選択することはできません。
VPC の中からランダムでいい感じに空いている IP を選んでくれるわけではない、というところが注意点です。

VPC 外のフローティング IP アドレス範囲

198.19.x.0/24 が自動指定されるオプションです。
VPC 外の IP アドレス範囲がランダム指定されるわけではありません。

IP アドレス範囲を入力

「VPC の空き IP アドレス範囲」、「VPC 外の IP アドレス範囲」のいずれかから IP アドレス範囲を指定できるオプションです。VPC の空き IP アドレス範囲を指定することも、VPC 外の IP アドレス範囲を指定することもできます。
ただし制限があり、次の CIDR 範囲は FSx for NetApp ONTAP と互換性がないため指定できません。

• 0.0.0.0/8
• 127.0.0.0/8
• 198.19.0.0/20
• 224.0.0.0/4
• 240.0.0.0/4
• 255.255.255.255/32

ちなみに「VPC 外のフローティング IP アドレス範囲」は 198.19.x.0/24 が自動指定されるオプションですが、上記 198.19.0.0/20（198.19.0.0～198.19.15.255）の範囲は外して指定されるようです。試しに「VPC 外のフローティング IP アドレス範囲」オプションを指定して作成したところ、「198.19.255.0/24」が自動指定されていました。

検証と図解

1. シングル AZ 構成の場合

管理エンドポイントは FSx for NetApp ONTAP ファイスシステムと同じサブネット内に自動で作成されます。
シングル AZ 構成を選択すると、管理エンドポイント IP アドレス範囲を指定するオプションが表示されません。

以下のブログでシングル AZ 構成の FSx for NetApp ONTAP を構築しています。

2. マルチ AZ 構成 - VPC 内にサブネットに割り当てられていない空き IP アドレス範囲が存在し、かつ VPC のプライマリ CIDR 範囲の最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が空いている場合

管理エンドポイント IP アドレス範囲は、オプションごとに以下のようになります。

• オプション「VPC から未割り当ての IP アドレス範囲」
  • VPC のプライマリ CIDR 範囲から最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が自動指定されます。
  • 例えば VPC の CIDR が「10.0.0.0/16」の場合、管理用エンドポイント IP アドレス範囲は「10.0.255.255/26」となります。
• オプション「VPC 外のフローティング IP アドレス範囲」を選択する
  • 198.19.x.0/24 が自動指定されます。
• オプション「IP アドレス範囲を入力」
  • VPC の空き IP アドレス範囲、VPC 外の IP アドレス範囲のいずれかから指定できます。※制限あり

以下のブログで、このパターンのマルチ AZ 構成 FSx for NetApp ONTAP を構築しています。

複数の FSx for NetApp ONTAP ファイルシステムを作成する際、繰り返し「VPC から未割り当ての IP アドレス範囲」を選択すると、複数のファイルシステムで管理エンドポイントの IP アドレス範囲が共有されます。

3. マルチ AZ 構成 - VPC 内にサブネットに割り当てられていない空き IP アドレス範囲が存在し、かつ VPC のプライマリ CIDR 範囲の最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が空いていない場合

管理エンドポイント IP アドレス範囲は、オプションごとに以下のようになります。

• オプション「VPC から未割り当ての IP アドレス範囲」
  • このオプションは選択できません。
• オプション「VPC 外のフローティング IP アドレス範囲」を選択する
  • 198.19.x.0/24 が自動指定されます。
• オプション「IP アドレス範囲を入力」
  • VPC の空き IP アドレス範囲、VPC 外の IP アドレス範囲のいずれかから指定できます。※制限あり

VPC のプライマリ CIDR 範囲の最後の 64 個の IP アドレス（xx.xx.xx.xx/26）が空いていない場合、オプション「VPC から未割り当ての IP アドレス範囲」は以下のようにグレーアウトになります。

このまま進めるとエラーになります。

The EndpointIpAddressRange provided overlaps with CIDR block range for subnets: subnet-041ce50239f94dc42.
（提供された EndpointIpAddressRange は、サブネットの CIDR ブロック範囲と重複しています）

4. マルチ AZ 構成 - VPC 内の IP アドレスがすべてサブネットに割り当てられており、空き IP アドレスが存在しない場合

管理エンドポイント IP アドレス範囲は、オプションごとに以下のようになります。

• オプション「VPC から未割り当ての IP アドレス範囲」
  • このオプションは選択できません。
• オプション「VPC 外のフローティング IP アドレス範囲」を選択する
  • 198.19.x.0/24 が自動指定されます。
• オプション「IP アドレス範囲を入力」
  • VPC 外の IP アドレス範囲から指定できます。※制限あり

5. マルチ AZ 構成 - VPC に CIDR が二つ以上ある場合（セカンダリ CIDR が設定されている場合）

5-1. セカンダリ CIDR にサブネットに割り当てられていない空き IP アドレス範囲が存在する場合

管理エンドポイント IP アドレス範囲は、オプションごとに以下のようになります。

• オプション「VPC から未割り当ての IP アドレス範囲」
  • このオプションは選択できません。
• オプション「VPC 外のフローティング IP アドレス範囲」を選択する
  • 198.19.x.0/24 が自動指定されます。
• オプション「IP アドレス範囲を入力」
  • セカンダリ CIDR の空き IP アドレス範囲、VPC 外の IP アドレス範囲のいずれかから指定できます。※制限あり

上の図の場合、セカンダリ CIDR 10.1.0.0/22 にサブネットは割り当てられておらず空いているので、管理エンドポイント IP アドレス範囲として「10.1.0.0/22」や「10.1.1.0/24」などを指定することができます。VPC 外の IP も指定できます。

5-2. セカンダリ CIDR の IP アドレスがすべてサブネットに割り当てられており、空き IP アドレスが存在しない場合

「4. マルチ AZ 構成 - VPC 内の IP アドレスがすべてサブネットに割り当てられており、空き IP アドレスが存在しない場合」と同様です。
管理エンドポイント IP アドレス範囲は、オプションごとに以下のようになります。

• オプション「VPC から未割り当ての IP アドレス範囲」
  • このオプションは選択できません。
• オプション「VPC 外のフローティング IP アドレス範囲」を選択する
  • 198.19.x.0/24 が自動指定されます。
• オプション「IP アドレス範囲を入力」
  • VPC 外の IP アドレス範囲から指定できます。※制限あり

おわりに

FSx for NetApp ONTAP の管理エンドポイントがどこに作られるのか、検証して図解してきました。
マルチ AZ 構成で FSx for NetApp ONTAP を作成する際は「どこからアクセスするのか」、「どのサービスと通信をするのか」などの通信経路設計を綿密に実施し、適切な管理 IP アドレス範囲を指定するようにしましょう。
VPC 外の IP アドレス範囲を指定する場合は Transit Gateway や NLB が必要になるケースがありますのでご注意ください。詳細は以下ブログをご参照ください。

参考